📌 為什麼要做這個挑戰?
生成式 AI 正在改變世界,但市面上大多數服務(如 ChatGPT、Claude、Gemini)都依賴雲端:
-
問題 1:成本
長時間使用雲端 LLM 成本非常高,尤其是需要 API 的開發者。
-
問題 2:隱私
如果要處理公司機密或個人敏感資訊,把資料傳到雲端始終有風險。
-
問題 3:可控性
雲端模型不可控,我們無法自由調整系統 Prompt、客製化資料庫,甚至無法完全掌握更新。
這也是為什麼 「本地化部署 LLM」 正在成為一個熱門話題。
透過 Ollama + Web UI,我們可以:
- 在自己的電腦上執行大語言模型
- 完全掌握數據,不經過第三方
- 延伸應用到 Discord Bot / IoT 控制 / 行動助手
因此,我決定展開這個 30 天鐵人挑戰,目標是從 0 到 1 打造一個 完整的本地 AI 助手生態系統。
🏗️ 30 天計畫藍圖
分成五大階段:
-
第一週:環境建置與模型部署
- Docker、Portainer、Ollama 安裝與測試
- 拉取不同模型,測試效能
-
第二週:Web UI 與前後端串接
- 安裝 Open WebUI
- 與 Ollama 串接
- Python API 呼叫、ngrok 對外公開
-
第三週:Discord Bot 整合 LLM
- 撰寫 Bot 程式碼
- 與 Ollama API 串接
- 加入角色設計、個人化對話
-
第四週:IoT 控制應用
- Raspberry Pi Pico W 環境建置
- MicroPython 控制 IoT 裝置
- 透過 LLM 進行自然語言控制
-
第五週:最終成果與分享
- Discord 行動 AI 助手
- 語音控制家電
- GitHub 專案整理 + 心得總結
🛠️ Day 1 實作 — 環境確認與準備
Step 1:作業系統選擇
這次挑戰的主要環境是 Ubuntu 22.04 LTS。
為什麼選 Ubuntu?
- 社群資源多,遇到問題容易找到解法
- 與 AI 框架、NVIDIA CUDA、Docker 相容性好
- 適合長期部署
(💡 如果你是 Windows 使用者,可以考慮 WSL,但效能會稍微差一些)
Step 2:硬體需求規劃
大語言模型吃硬體,這裡列出基本需求:
-
CPU:至少 8 核心(建議 12+)
-
RAM:16GB 起跳(32GB 更佳)
-
GPU:NVIDIA RTX 系列,VRAM 6GB 以上
-
硬碟:至少 100GB 可用空間(模型檔案會很大)